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Verfahren, Anordnunq und Software zur Optimierunq der Bildqualitat 
von miteinem Mikroskop aufqenommenen beweqlichen Obiekten 



Die Erfindung betrifft ein Verfahren zur Optimierung der Bildqualitat von mit 
einem Mikroskop aufgenommenen Bildfolgen beweglicher Objekte. 

5 Ferner betrifft die Erfindung eine Anordnung zur Optimierung der Bildqualitat 
von mit einem Mikroskop aufgenommenen Bildfolgen beweglicher Objekte. 

Bei der Beobachtung lebender und beweglicher Objekte entstehen Artefakte 
in der Bildgebung, da sich die Objekte bewegen. Dies bewirkt zum einen eine 
Unscharfe (Bewegung erzeugt ahnliche Artefakte wie Defokussierung) zum 
10 anderen haben die Bilder in der Konfokalmikroskopie eine schlechte Qualitat 
(Signal zu Noise Ratio), da sich Verfahren wie Bildmittelung auf einer Pixel bei 
Bewegung nicht anwenden lassen. Bei Averaging wurden bei Bewegung z.B. 
Objektpixel mit nicht Objektpixeln gemischt. 

Der Erfindung liegt die Aufgabe zugrunde ein Verfahren zu schaffen, mit dem 
15 es moglich ist qualitativ gute Bilder bei beweglichen Objekten zu erzeugen 
und eine effiziente Anwendung von Operationen wie beispielsweise Mittelung 
und Filterung auch bei beweglichen Objekten zu ermoglichen.. 

Die objektive Aufgabe wird durch ein Verfahren gelost, das die Merkmale des 
Patentanspruchs 1 aufweist. 

20 Eine weitere Aufgabe der Erfindung ist es eine Anordnung zu schaffen, mit der 
es moglich ist qualitativ gute Bilder von beweglichen Objekten zu erzeugen 
bzw. eine effiziente Anwendung von Operationen wie beispielsweise 
Mittelung Oder Filterung auch bei beweglichen Objekten zu ermoglichen. 

Die objektive Aufgabe wird durch eine Anordnung gelost, die die Merkmale 
25 des Patentanspruchs 7 aufweist. 
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Zur Losung der mit diesen Aufgaben verbundenen Problemstellung ist es 
vorteilhaft, dass eine Trajektorie fur jedes Pixel des Bildes ermittelt wird 
welches Verschiebungen und somit Objektbewegungen registriert. Diese 
werden vorteilhafterweise aus Verschiebungsvektorfeldern ermittelt, welche 
5 samtliche Bewegungen innerhalb der Szene gesamtheitlich bewertet Das 
Verschiebungsvektorfeld ergibt sich aus einem Vergleich der Pixel von jeweils 
mindestens zwei zeitlich aufeinander folgender Bilder. Die Nutzung von mehr 
als zwei Bildern einer Folge fuhrt gegebenenfalls zu besserer Konvergenz. Die 
Ermittlung derartiger Verschiebungsfelder erfolgt durch die Losung eines 

10 Flussproblems, wobei ein Pixelanderungsmodell als Differentialgleichung 
formuliert und numerisch an die Bilddaten nach einem Minimum Description 
Length (MDL) Verfahren angefittet werden. Der wohl prominenteste Vertreter 
derartiger Modelle ist die Modellierung der Bewegung fester Korper (solid 
body) in der Videotechnik fur die sich synonym schon die 

15 Verfahrensbezeichnung „optischer Fluss" etabliert hat. Weitere Vertreter sind 
z.B. in der Klimamodellierung zu finden, wo flussige Korper (von Wolken bis 
Wasser) modelliert werden. Obwohl hier die Bezeichnung optischer Fluss 
nicht ublich ist, verwendet dieser Text den Begriff synonym. Eine Trajektorie 
konstruiert man durch die Verfolgung der lokalen Verschiebungsvektoren von 

20 Pixel zu Pixel was einfach durch einen Computeralgorithmus erfolgen kann. 
Die derail ermittelte Trajektorie ist eine so genannte Richtschnur fur die 
Anwendung von Operationen. Operationen entlang der ermittelten Trajektorie 
konnen zum Beispiel (ohne Beschrankung der Allgemeinheit) eine 
Dekonvolution, eine Glattung oder ein Averaging-Filter sein. Eine Erweiterung 

25 auf die gesamte Klasse zeitlich-lateral operierender Bildverarbeitungsklassen 
ist in diesem Sinne in diese Meldung eingeschlossen und bleibt in der 
Realisierung eines Systems der Phantasie des Fachmanns uberlassen. 

Eine Besonderheit dieser neuen Operationen ist Uneindeutigkeiten die durch 
die Bewegung und das Verschiebungsvektorfeld entstehen. So kann zum 
30 Beispiel ein Objekt in den Bildausschnitt hineinwandern und ein Filter mit 
Gedachtnis muss diese neuen Pixel anders behandeln als andere statischere 
Pixel in der selben Szene. Ein weiteres Beispiel ist das Aufteilen eines Objekts 
in mehrere Objekte (Quelle von Trajektorien). Wieder ein anderes ist die 
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Zusammenfuhrung einzelner Pixel zu einem (Senke von Trajektorien). Dies 
wird durch ein intelligentes Trajektorienmanagment gelost. 

Weitere vorteilhafte Ausgestaltungen der Erfindung konnen den 
Unteranspruchen entnommen werden. 

5 In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und 
wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen: 

Fig. 1 eine schematische Darstellung eines Scanmikroskops; 

Fig. 2 eine schematische Darstellung des durch das Mikroskop 
aufgenommen Bildframes und wie dieser in einzelne Bereiche 
10 bzw. Pixel unterteilt ist; 

Fig. 3 eine schematische Darstellung der Verarbeitung der aus der 
Beobachtung lebender und beweglicher Objekte gewonnener 
Daten; 

Fig. 4 ein Blockdiagramm des erfindungsgemaflen Verfahrens; 

15 Fig. 5 eine beispielhafte Darstellung einer Situation, bei der ein Objekt 
das Bild verlasst, und die ermittelte Trajektorie am Rand endet; 

Fig. 6 eine Darstellung einer beispielhafte Situation, bei der ein Objekt 
ins Bild kommt; 

Fig. 7 eine Darstellung einer Situation, bei der sich ein Objekt teilt und 
20 daraus mehrere Trajektorien resultieren; und 

Fig. 8 eine Darstellung einer Situation, bei der sich mehrere Objekte auf 
ein Objekt vereinigen, dabei enden die Trajektorien der einzelnen 
Objekte auf einen Punkt. 

In Fig. 1 ist das Ausfuhrungsbeispiel eines konfokalen Scanmikroskopsystems 
25 schematisch gezeigt, mit dem das erfinderische Verfahren ausgefuhrt werden 
kann. Andere Mikroskopsysteme konnen ebenfalls verwendet werden. Als 
eine Detektoreinheit 19 ist mit einem Videosystem oder einem CCD-Sensor 
zur Aufnahme von Bildern ausgestattet. 

Dies soli jedoch nicht als Beschrankung der Erfindung aufgefasst werden. Es 
30 ist dem Fachmann hinlanglich klar, dass die Erfindung auch mit 
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konventionellen Mikroskopen bei digitaler Bildgebung realisiert werden kann. 
Der von mindestens einem Beleuchtungssystem 1 kommende 
Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder einem geeigneten 
Umlenkmittel 5 zu einem Scanmodul 7 geleitet. Bevor der 
5 Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, passiert dieser ein 
Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen kardanisch 
aufgehangten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch eine 
Scanoptik 12 und eine Mikroskopoptik 13 hindurch uber bzw. durch ein Objekt 
15 fuhrt Der Beleuchtungslichtstrahl 3 wird bei nicht transparenten Objekten 

10 15 uber die Objektoberflache gefuhrt Bei biologischen Objekten 15 
(Praparaten) oder transparenten Objekten kann der Beleuchtungslichtstrahl 3 
auch durch das Objekt 15 gefuhrt werden. Zu diesen Zwecken werden 
nichtleuchtende Praparate ggf. mit einem geeigneten Farbstoff prapariert 
(nicht dargestellt, da etablierter Stand der Technik). Die in dem Objekt 

15 vorhandenen Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt 
und senden Licht in einem ihnen eigenen charakteristischen Bereich des 
Spektrums aus. Dieses vom Objekt 15 ausgehende Licht definiert einen 
Detektionslichtstrahl 17. Dieser gelangt durch die Mikroskopoptik 13, die 
Scanoptik 12 und uber das Scanmodul 7 zum Umlenkmittel 5, passiert dieses 

20 und gelangt uber ein Detektionspinhole 18 auf eine Detektoreinheit 19, die im 
hier dargestellten Ausfuhrungsbeispiel, mit mindestens einem Photomultiplier, 
als Detektor, ausgestattet ist. Es ist dem Fachmann klar, dass auch andere 
Detektoren, wie z.B. Dioden, Diodenarrays, Photomultiplierarrays, CCD Chips 
oder CMOS Bildsensoren eingesetzt werden konnen. Der vom Objekt 15 

25 ausgehende bzw. definierte Detektionslichtstrahl 17 ist in Fig. 1 als 
gestrichelte Linie dargestellt. In der Detektoreinheit 19 werden elektrische, zur 
Leistung des vom Objekt 15 ausgehenden Lichtes, proportionate 
Detektionssignale erzeugt. Da, wie bereits oben erwahnt, vom Objekt 15 Licht 
nicht nur einer Wellenlange ausgesandt wird, ist es sinnvoll vor der 

30 Detektoreinheit 19 ein Selektionsmittel 21 fur das von der Probe ausgehende 
Spektrum einzufugen. Die von der Detektoreinheit 19 erzeugten Daten werden 
an ein Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist 
mindestens ein Peripheriegerat 27 zugeordnet. Das Peripheriegerat kann z.B. 
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ein Display sein, auf dem der Benutzer Hinweise zur Einstellung des 
Scanmikroskops erhalt Oder den aktuellen Setup und auch die Bilddaten in 
graphischer Form entnehmen kann. Ferner ist mit dem Rechnersystem 23 ein 
Eingabemittel zugeordnet, das z.B. aus einer Tastatur 28, einer 
5 Einstellvorrichtung 29 fur die Komponenten des Mikroskopsystems und einer 
Maus 30 besteht. 

In Fig. 2 ist eine schematische Darstellung eines mit dem Mikroskop 100 
aufgenommen Bildframes 41. Der Bildframe 41 ist durch das durch das 
Mikroskop 100 bestimmte Bildfenster festgelegt. Der Bildframe 41 und ist in 
10 einzelne Bereiche bzw. Pixel 39 unterteilt. Innerhalb des Bildframes 41 
befindet sich das bewegliche Objekt 40. Die Pixel 39 konnen als 2- 
dimensionale Bereiche des Bildframes 41 oder auch als 3-dimensionale 
Bereiche des Bildframes 41 ausgebildet sein. 

Fig. 3 zeigt die Beobachtung lebender und beweglicher Objekte 40 und die 
15 Verarbeitung der aus der Beobachtung lebender und beweglicher Objekte 40 
gewonnenen Daten. Bei der Beobachtung lebender und beweglicher Objekte 
40 werden z.B. mit dem in Fig. 1 beschriebenen Scannmikroskop 100 
nacheinander mehrere Bilderbzw. Bildframes 41 1f 41 2 , 41 3t .... 41 n 
aufgenommen. Wobei jeder Bildframe 41 1} 41 2> 41 3 , 41 n eine xy-Ebene 
20 oder ein aufgenommenes Probenvolumen xyz definiert. Zwischen zwei 

aufeinander folgenden Bildern z.B. 41 1t 41 2 , oder 41 2l 41 3 , oder 41^ , 41 n ,wird 

eils Verschiebungsvektorfeld 42^ 42 2 , 42 n -i bestimmt Das 
W.i. iebungsvektorfeld zwischen zwei aufeinander folgender Bilder, z.B. 41 2f 
und 41 3 , lasst sich aus dem Vergleich der einzelnen, sich gegenseitig 
25 entsprechenden Pixel, von den zwei Bildern ermitteln. Ausgehend von einem 
ersten Bild 4^ mit N Pixeln, lassen sich somit die neuen Positionen im 
nachsten Bild 42 2 , durch die Verschiebung bestimmen. Es kann auch noch ein 
genaueres Modell aus den diskreten Verschiebungen mit Subpixelgenauigkeit 
fur eine Trajektorie 43 gefittet werden. Vorteilhafterweise werden dann mehr 
30 als ein aufeinander folgendes Bild fur diese genauigkeitserhohende 

Operation verwendet. Die Trajektorie 43 ftlr das bewegliche Objekt erhalt man 
aus derVielzahl der Verschiebungsvektorfelder 42 1f 42 2 , 42 n .i durch 
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Verfolgung der Verschiebungsvektorfelder der einzelnen Bilder41 1t 41 2l 41 3 , 
.... 41 n . In der graphischen Darstellung der Trajektorie 43 sind die bewegten 
Objekte durch mindestens eine Trajektorie durch den xyt-Raum 44 dargestellt. 

Ein Video beinhaltet eine 3-dimensionale Raumzeit (zwei raurnliche 
Dimensionen xy, eine Zeitdimension t). Der Pixel eines beweglichen Objektes 
40 bewegt sich somit auf einer gekrummten Bahn (Trajektorie) innerhalb 
dieser Raumzeit. Die ermittelte Trajektorie 43 definiert eindeutig diese 
gekrummte Bahn und man erhalt dadurch Daten uber die Bewegung des 
Objekts 40. Operationen, die auf das bewegte Objekt angewendet werden 
sollen, konnen somit entlang der Trajektorie 43 erfolgen. So kann man z.B. 
einen Averaging-Filter mit Daten auf dieser Trajektorie 43 futtern und erhalt 
ein in der Qualitat gesteigertes Bild, das der Bewegung des Objekts 40 
Rechnung tragt, und zwar in dem Sinne, dass das Signal zu Rauschen 
Verhaltnis besser ist. Dieser Ansatz ist naturlich auch fur Sequenzen von 
Volumen moglich (4-dimensionale Raumzeit) und auf beliebige Operationen 
wie, z.B. Filter (Dekonvolution, Glattung) ubertragbar. Zur Realisierung dieser 
Filter muss anstelle der in der Bildverarbeitung gebrauchlichen einfachen 
Summenformeln die kontinuierliche Operationsgleichung auf der Trajektorie 
in der gekrummten Raumzeit unter Einbezug der aktuellen Geometrie 
diskretisiert werden. Derartige Verfahren sind in der numerischen Mathematik 
etabliert und in der Simulationstechnik Stand der Technik. 

In Fig. 4 ist ein Blockdiagramm des erfindungsgemafSen Verfahrens 
dargestellt. Zunachst erfolgt die Bildaufnahme 50 einer Serie von Bildern. Wie 
bereits oben beschrieben erfolgt die Aufnahme mit der Detektoreinheit 19 des 
Mikroskops bzw. des Scanmikroskops. Die Daten, die jeweils ein Bild 
reprasentieren werden in einem ersten Bildspeicher 52 abgelegt. Von dem 
Bildspeicher 52 werden die Bilder nacheinander einem Berechner 53 fur den 
optischen Fluss zugefuhrt. Parallel dazu werden die Daten jeweils eines 
Bildes einem nicht linearen Filter 54 zugefuhrt. Vom Berechner 53 fur den 
optischen Fluss werden die durch den Berechner 53 veranderten Daten einem 
Trajektorientracker 55 und anschlieliend einem Trajektorienspeicher 56 
zugefuhrt. Die im Trajektorienspeicher 56 vorhandenen Daten werden 
ebenfalls dem nicht linearen Filter 54 zur Verfugung gestellt urn eine 



Diskretisierung zu ermoglichen. Wie bereits oben erwahnt werden auf die 
aufgenommenen Bilddaten beliebige Operationen angewendet, die im nicht 
linearen Filter 54 unter Berucksichtigung der gespeicherten Trajektorie 43 
erfolgen. Die derart veranderten Daten gelangen in einen zweiten Bildspeicher 
58 und konnen vor dort z.B. zur Darstellung auf einem Display abgerufen 
werden. 

In den Fign. 5 bis 8 sind verschiede Ereignisse dargestellt, die zu jeweils 
ausgezeichneten Trajektorien fuhren. In Fig. 5 ist die Situation dargestellt, 
dass das Objekt 40 den Bildframe 41 wahrend des Aufzeichnung von N- 
Bildframes verlasst. Das Objekt kann durch das Mikroskop bei der 
Aufzeichnung des N+1ten Bildframes nicht mehr erfasst werden. Die aus den 
N erfassten Bildframes resultierende Trajektorie 43 endet am Rand des xyt- 
Raums 44. Sie kann aus dem Trajektorienspeicher 56 durch denn 
Trajektorientracker 55 geloscht werden. 

In Fig. 6 ist die Situation dargestellt, dass sich ein Objekt 40 im ersten 
Bildframe 41! befindet. Wahrend der Aufzeichnung von N-Bildframes gelangt 
ein weiteres Objekt 60 in den Bereich des Bildframes, so dass es mit dem 
Mikroskop erfassbar ist. Das Objekt 60 kann durch das Mikroskop auch bei 
der Aufzeichnung des N-ten Bildframes erfasst werden. Zusatzlich zur der 
Trajektorie 43 fur das Objekt 40 kommt eine weitere Trajektorie 63 fur das neu 
in den Bildframe des Mikroskops gelangten Objekts 60 im xyt-Raums 44 
hinzu. 

In Fig. 7 ist die Situation dargestellt, dass sich ein Objekt 70 im ersten 
Bildframe 4^ befindet. Bis zur Aufzeichnung des N-ten Bildframes hat sich 
das Objekt 70 in z.B. vier Objekte 70^ 70 2 , 70 3 , und 70 4 im Bildframe geteilt. 
Die Objekte 70!, 70 2 , 70 3 , und 70 4 konnen durch das Mikroskop auch bei der 
Aufzeichnung des N-ten Bildframes erfasst werden. Zusatzlich zur der 
Trajektorie 43 fur das Objekt 70 kommen an einem Endpunkt der Trajektorie 
43 zu einem gewissen Zeitpunkt t vier weitere Trajektorien 73, , 73 2 , 73 3 , und 
73 4 hinzu, die fur die Bewegung der vier Objekte 70 1t 70 2 , 70 3 , und 70 4 stehen. 

In Fig. 8 ist die Situation dargestellt, dass sich ein vier Objekte 80, , 80 2l 80 3 , 
und 80 4 im ersten Bildframe 41, befinden. Zur Aufzeichnung des N-ten 
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Bildframes haben sich die Objekte 80 1t 80 2 , 80 3 , und 80 4 zu einem Objekt 80 
vereinigt. Die Trajektorien 83-,, 83 2> 83 3 , und 83 4 der Objekte 80 1f 80 2 , 80 3 , und 
80 4 enden im xyt-Raum 44 in einem Punkt 84. 

Die Erfindung wurde in bezug auf eine besondere Ausfuhrungsform 
beschrieben. Es ist jedoch selbstverstandlich, dass Anderungen und 
Abwandlungen durchgefuhrt werden konnen, ohne dabei den Schutzbereich 
der nachstehenden Anspruche zu verlassen. 
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Patentanspruche 



1. Verfahren zur Optimierung der Bildqualitat beweglicher mit einem 
Mikroskopsystem aufgenommener Objekte, gekennzeichnet durch die 
folgenden Schritte: 

a) Aufnehmen einer Vielzahl aus mehreren Pixeln bestehender Bilder 

b) Ermitteln jeweils eines Verschiebungsvektorfeldes aus einem Vergleich 
der Pixel von jeweils zwei zeitlich aufeinander folgender Bilder. 

c) Bestimmen einer Trajektorie fur jedes Pixel des Bildes aus den 
Verschiebungsvektorfeldern; und 

d) Anwenden einer Operation auf die Bilddaten entlang einer Trajektorie. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die 
Operation entlang der ermittelten Trajektorie eine Dekonvolution, eine 
Glattung, ein Averaging-Filter oder irgendeine zeitlich lateral wirkende 
Operation ist 

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die 
Vielzahl der aufgenommenen Bilder einem Bildspeicher zugefuhrt werden, 
und dass parallel dazu Daten aus der Vielzahl der aufgenommenen Bilder 
einem Berechner fur den optischen Fluss und einem Trajektorientracker 
einem Trajektorienspeicher zugefuhrt werden. 

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das fur 
die Anwendung eines Filters Daten der aufgenommenen Bilder aus dem 
Bildspeicher und entsprechende Oaten aus den Trajektorienspeicher abrufbar 
und verrechenbar sind. 
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5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die durch 
die Anwendung des Filters erzeugten Daten einen zweiten Bildspeicher 
zufuhrbar sind. 

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das 
Mikroskopsystem ein Scanmikroskop oder ein herkommliches Mikroskop 
beinhaltet. 

7. Anordnung zur Optimierung der Bildqualitat beweglicher mit einem 
Mikroskopsystem aufgenommener Objekte, wobei das Mikroskopsystem 
mindestens ein Bildfenster definierendes Objektiv, eine Detektoreinheit zum 
Aufnehmen einer Vielzahl aus mehreren Pixeln bestehender Bilder, und ein 
Rechnersystem aufweist, dadurch gekennzeichnet, dass das Rechnersystem 
ein Mittel zum Ermitteln jeweils eines Verschiebungsvektorfeldes aus einem 
Vergleich der Pixel von jeweils mindestens zwei zeitlich aufeinander folgender 
Bilder, ein Mittel zum Bestimmen einer Trajektorie fur jedes Pixel des Bildes 
aus den Verschiebungsvektorfeldern; und ein Mittel zum Anwenden einer 
Operation auf die Bilddaten entlang einer Trajektorie umfasst. 

8. Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass das 
Mittel zum Anwenden einer Operation auf die Bilddaten entlang einer 
Trajektorie, ein Dekonvolutionsmittel, ein Glattungsmittel oder einen 
Averaging-Filter oder eine beliebige zeitlich-spatial wirkende Operation 
umfasst. 

9. Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass ein 
erster Bildspeicher vorgesehen ist, der die Daten der Vielzahl der 
aufgenommenen Bilder speichert und dass ein zweiter Bildspeicher 
vorgesehen ist, der die Daten speichert, die aus der Verrechnung der Daten 
aus dem ersten Bildspeicher mit den Daten aus einem Trajektorienspeicher 
entstanden sind. 

10 Anordnung nach Anspruch 7, dadurch gekennzeichnet, dass 
Mikroskopsystem ein Scanmikroskop oder ein herkommliches Mikroskop 
umfasst. 
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1 1 . Software auf einem Datentrager, dadurch gekennzeichnet, dass die 
Software ein Mikroskopsystem veranlasst ein Verfahren nach einem der 
Anspruche 1 bis 6 auszufuhren. 
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Zusammenfassunq 



Es ist ein Verfahren und eine Anordnung zur Optimierung der Bildqualitat 
beweglicher mit einem Mikroskopsystem aufgenommener Objekte 
vorgeschlagen. Das Mikroskopsystem umfasst mindestens ein Objektiv, das 
ein Bildfenster definiert. Bewegungen der zu beobachtenden Objekte werden 
im Bildframe erfasst. Ein Rechnersystem mit einem Mittel zum Ermitteln 
jeweils eines Verschiebungsvektorfeldes aus einem Vergleich der Pixel von 
jeweils zwei zeitlich aufeinander folgender Bilder, erzeugt aus der 
Zusammenschau der Verschiebungsvektorfeldes aller aufgenommenen Bilder 
eine Trajektorie. Ferner ist ein Mittel zum Anwenden einer Operation auf die 
Bilddaten entlang einer Trajektorie vorgesehen. 
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